输入: 训练数据集 ${\displaystyle T=\{(x_1,y_1),\cdots ,(x_N,y_N)\}}$, ${\displaystyle x_i\in \mathcal{X}\subset {\mathbb{R}}^n}$, ${\displaystyle y_i\in \mathcal{Y}=\{c_1,\cdots ,c_K\}}$; 实例 ${\displaystyle x}$.
输出: ${\displaystyle x}$ 所属的类别 ${\displaystyle y}$.

1. 根据给定的距离度量，在 ${\displaystyle T}$ 中找出与 ${\displaystyle x}$ 最接近的 ${\displaystyle k}$ 个点, 涵盖这 ${\displaystyle k}$ 个点的 ${\displaystyle x}$ 邻域记为 ${\displaystyle N_k(x)}$;
2. 在 ${\displaystyle N_k(x)}$ 中根据分类决策规则 (如多数表决) 决定 ${\displaystyle x}$ 的类别 ${\displaystyle y}$, 也即 $$\begin{array}{}\text{(1.1)}& y=\underset{c_j}{\mathrm{argmax}}\sum _{x_i\in N_k(x)}{\mathbb{1}}_{y_i=c_j},1\le i\le N,1\le j\le K.\end{array}$$

给定 ${\displaystyle \mathcal{X}\subset {\mathbb{R}}^n,x_i,x_j\in \mathcal{X}}$, 用 ${\displaystyle x^{(j)}}$ 表示 ${\displaystyle x}$ 的第 ${\displaystyle i}$ 个分量，则可以定义 ${\displaystyle L_p}$ 距离度量为 $$\begin{array}{}\text{(2.1)}& L_p(x_i,x_j)={(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p)}^{\frac{1}{p}},p\ge 1.\end{array}$$ 当 ${\displaystyle p=2}$，称为Euclide 距离; ${\displaystyle p=1}$ 时，称为 Manhattan 距离；特别地，${\displaystyle p=\mathrm{\infty }}$ 时 $$\begin{array}{}\text{(2.2)}& L_{\mathrm{\infty }}(x_i,x_j)=\underset{l}{max}|x_i^{(l)}-x_j^{(l)}|.\end{array}$$